EditaLive! Unified Character Video Editing for Live Streaming
EditaLive：面向直播的统一人物视频实时编辑框架
🧭 实时人物视频编辑 · 扩散蒸馏
University of Macau · vivo BlueImage Lab · GVC Lab, Great Bay University
基于外观-运动解耦蒸馏为两步采样器，实现14.47 FPS低延迟直播角色视频编辑
📌 工作参考价值（4 点）
- 直播电商的实时换装/虚拟试穿/人物特效可借鉴外观-运动解耦思路：用预训练图像动画模型作为基底，通过参考帧编辑+视频重建实现指令驱动编辑，同时保留原始动作与面部表情，减少不一致。
- 低延迟推理工程化：采用 aligned self-rollout distillation 将扩散模型压缩为两步采样器，结合固定 RoPE 与 align forcing 缩小训练-推理差距，可大幅降低生成式视频模型的推理成本，适配实时互动场景。
- 长序列流式生成中引入首帧保留稀疏注意力，过滤冗余历史信息、抑制外观漂移，适合直播等持续流式推理，可迁移到需要长时一致性的视频生成或序列建模。
- 指令编辑数据构建方法：通过参考帧编辑与视频重建自动生成 CharEdit-50K 数据集，可借鉴到电商商品换背景、模特换装等合成数据生成，降低人工标注成本。